Tỉnh được thành lập tháng 12 năm 1889 trên cơ sở hạt tham biện Thủ Dầu Một tách ra từ tỉnh Biên Hoà cũ. Từ tháng 5 năm 1951 đến tháng 4 năm 1955 và từ tháng 9 năm 1960 đến tháng 7 năm 1961, chính quyền Việt Nam Dân chủ Cộng hòa sáp nhập tỉnh Thủ Dầu Một với tỉnh Biên Hoà mới thành tỉnh Thủ Biên. Tuy nhiên, chính quyền Quốc gia Việt Nam vẫn giữ theo phân chia hành chính cũ.

Tháng 10 năm 1956, chính quyền Việt Nam Cộng hoà chia Thủ Dầu Một thành các tỉnh Bình Dương, Bình Long và Phước Long (có thêm phần đất của tỉnh Biên Hòa).

Tuy nhiên chính quyền cách mạng phía ta vẫn duy trì tên gọi tỉnh Thủ Dầu Một như cũ. Năm 1957, chính quyền cách mạng chia tỉnh Thủ Dầu Một thành 2 tỉnh Thủ Dầu Một và Bình Long. Địa giới tỉnh Thủ Dầu Một lúc này gần tương ứng với tỉnh Bình Dương của chính quyền Việt Nam Cộng hòa. Cho đến năm 1976, tỉnh Thủ Dầu Một bao gồm thêm một số huyện như Dĩ An, Tân Uyên, Phú Giáo vốn thuộc tỉnh Biên Hòa trước đây.

Từ năm 1976, tỉnh Thủ Dầu Một hợp nhất với tỉnh Bình Phước (Bình Long và Phước Long) và 3 xã An Bình, Bình An, Đông Hòa thuộc huyện Thủ Đức thành tỉnh Sông Bé, tỉnh lỵ đặt tại thị xã Thủ Dầu Một. Từ ngày 6 tháng 11 năm 1996, tỉnh Sông Bé được chia lại thành hai tỉnh: Bình Dương và Bình Phước. Trong đó, tỉnh Bình Dương có địa giới trùng với tỉnh Thủ Dầu Một trước đây.

Hiện nay, địa danh "Thủ Dầu Một" chỉ còn được dùng để chỉ thành phố Thủ Dầu Một, đơn vị hành chính cấp huyện trực thuộc tỉnh Bình Dương và là tỉnh lỵ của tỉnh Bình Dương.